首页
教程
问答社区
new
标签库
开发文档
最新
工具箱
立即登录
免费注册
扫码关注官方微信
扫码下载APP
返回顶部
首页
>
标签库
>
Java Spark
当前位置:#Java Spark#
扫描二维码
关注官方微信号获取第一手资料
精选
2023-06-02
如何使用java写spark
这篇文章给大家分享的是有关如何使用java写spark的内容。小编觉得挺实用的,因此分享给大家做个参考,一起跟随小编过来看看吧。package hgs.spark;import java.util.ArrayList;import java...
891
标签:
数据库
2021-02-24
「Spark」Spark SQL Thrift Server运行方式
Spark SQL可以使用JDBC/ODBC或命令行接口充当分布式查询引擎。这种模式,用户或者应用程序可以直接与Spark SQL交互,以运行SQL查询,无需编写任何代码。Spark SQL提供两种方式来运行SQL:通过运行Thrift Server直接执行S...
766
标签:
「Spark」Spark
SQL
Thrift
Server运行方式
数据库
2019-06-08
大数据Hadoop之——Spark SQL+Spark Streaming
目录一、Spark SQL概述二、SparkSQL版本1)SparkSQL的演变之路2)shark与SparkSQL对比3)SparkSession三、RDD、DataFrames和DataSet1)三者关联关系1)RDD1、核心概念2、RDD简单操作3、RD...
269
标签:
大数据Hadoop之——Spark
SQL+Spark
Streaming
Python
2023-01-31
python spark windows
1、下载如下放在D盘添加 SPARK_HOME = D:\spark-2.3.0-bin-hadoop2.7。 并将 %SPARK_HOME%/bin 添加至环境变量PATH。 然后进入命令行,输入pyspark命令。若成功执行。则成功设置...
432
标签:
python
spark
windows
JAVA
2015-12-03
Spark3 学习【基于Java】4. Spark-Sql数据源
通过DF,Spark可以跟大量各型的数据源(文件/数据库/大数据)进行交互。前面我们已经看到DF可以生成视图,这就是一个非常使用的功能。简单的读写流程如下:通过read方法拿到DataFrameReader对象,与之类似的就有DataFrameWriter对象...
396
标签:
Spark3
学习【基于Java】4.
Spark-Sql数据源
数据库
2020-09-04
理解Spark SQL(三)—— Spark SQL程序举例
上一篇说到,在Spark 2.x当中,实际上SQLContext和HiveContext是过时的,相反是采用SparkSession对象的sql函数来操作SQL语句的。使用这个函数执行SQL语句前需要先调用DataFrame的createOrReplaceTe...
668
标签:
理解Spark
SQL(三)——
Spark
SQL程序举例
精选
2023-06-19
怎么用java提交一个Spark应用程序
本篇内容介绍了“怎么用java提交一个Spark应用程序”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!第一种方式首先用vim打开一个文件,M...
284
标签:
精选
2023-06-29
springboot集成spark并使用spark-sql的方法
这篇文章主要介绍“springboot集成spark并使用spark-sql的方法”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“springboot集成spark并使用spark-sql的方法”文章...
570
标签:
数据库
2017-07-26
Spark Operator浅析
本文作者: 林武康(花名:知瑕),阿里巴巴计算平台事业部技术专家,Apache HUE Contributor, 参与了多个开源项目的研发工作,对于分布式系统设计应用有较丰富的经验,目前主要专注于EMR数据开发相关的产品的研发工作。 本文介绍Spark Op...
553
标签:
Spark
Operator浅析
数据库
2018-05-05
Spark SQL(6) OptimizedPlan
Spark SQL(6) OptimizedPlan在这一步spark sql主要应用一些规则,优化生成的Resolved Plan,这一步涉及到的有Optimizer。之前介绍在sparksession实例化的是会实例化sessionState,进而确定Qu...
342
标签:
Spark
SQL(6)
OptimizedPlan
数据库入门
数据库基础教程
数据库
mysql
数据库
2016-05-07
spark-sql-04-on_hive
设置metastore机器: ke01、ke02、ke03、ke04ke03 为元数据库ke01、ke02、ke04 连接到元数据库 、hive-metastore搭建ke03: hive.metastore.warehouse.dir ...
129
标签:
spark-sql-04-on_hive
数据库入门
数据库基础教程
数据库
mysql
精选
2023-06-03
Spark Streaming+Spark SQL的数据倾斜示例分析
这篇文章将为大家详细讲解有关Spark Streaming+Spark SQL的数据倾斜示例分析,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。1.现象 三台机器都有产生executor,每台...
200
标签:
精选
2023-05-31
spark应用程序如何在Java项目中运行
这篇文章将为大家详细讲解有关spark应用程序如何在Java项目中运行,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。如下所示:package org.shirdrn.spark.job;im...
559
标签:
java
spark
ava
Python
2023-02-01
Java开发Spark应用程序自定义PipeLineStage详解
这篇文章主要为大家介绍了Java开发Spark应用程序自定义PipeLineStage详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪...
162
标签:
Java Spark自定义PipeLineStage
Java Spark
精选
2023-05-31
java 中Spark中将对象序列化存储到hdfs
java 中Spark中将对象序列化存储到hdfs摘要: Spark应用中经常会遇到这样一个需求: 需要将JAVA对象序列化并存储到HDFS, 尤其是利用MLlib计算出来的一些模型, 存储到hdfs以便模型可以反复利用. 下面的例子演示了...
500
标签:
java
spark
对象序列化
Python
2024-04-02
springboot集成spark并使用spark-sql的示例详解
...
210
标签:
数据库
2018-12-04
Spark调优指南
Spark相关问题Spark比MR快的原因?1) Spark的计算结果可以放入内存,支持基于内存的迭代,MR不支持。2) Spark有DAG有向无环图,可以实现pipeline的计算模式。3) 资源调度模式:Spark粗粒度资源调度,MR是细粒度资源调度。资源...
911
标签:
Spark调优指南
数据库
2014-10-25
Spark Streaming vs. Structured Streaming
简介Spark StreamingSpark Streaming是spark最初的流处理框架,使用了微批的形式来进行流处理。提供了基于RDDs的Dstream API,每个时间间隔内的数据为一个RDD,源源不断对RDD进行处理来实现流计算Structured ...
196
标签:
Spark
Streaming
vs.
Structured
Streaming
数据库
2015-08-15
Spark基础和RDD
spark1. Spark的四大特性速度快spark比mapreduce快的两个原因基于内存1. mapreduce任务后期在计算的是时候,每一个job的输出结果都会落地到磁盘,后续有其他的job要依赖于前面job的输出结果,这个时候就需要进行大量的磁盘io操...
409
标签:
Spark基础和RDD
数据库
2019-06-05
Spark内存管理
1、spark的一大特性就是基于内存计算,Driver只保存任务的宏观性的元数据,数据量较小,且在执行过程中基本不变,不做重点分析,而真正的计算任务Task分布在各个Executor中,其中的内存数据量大,且会随着计算的进行会发生实时变化,所以Executor...
379
标签:
Spark内存管理
热门文章
Android:VolumeShaper
2022-06-06
Oracle Study--Oracle RAC CacheFusion(MindMap)
2024-04-02
Python 学习之路 - Python
2023-01-31
报表SQL
2024-04-02
[mysql]mysql8修改root密码
2020-03-03
MySQL专题3之MySQL管理
2023-01-31
返回顶部